Kerjaya awal

Mustafi telah dilahirkan di Bad Hersfeld, Jerman. Beliau merupakan keturunan Albania yang berasal dari bekas Yugoslavia (Kampung Çajlë). Beliau memulakan kerjaya awalnya di kelab remaja 1. FC Bebra sebelum sertai kelab remaja Hamburger SV pada tahun 2006.

Everton

Pada Mei 2009, Mustafi menyertai kelab akademi Everton. Beliau membuat debut untuk Everton pada 16 Disember 2009 dengan menggantikan Tony Hibbert pada minit ke-75 ketika tewas 1-0 kepada BATE Borisov pada saingan Liga Europa. Beliau hanya duduk di bangku simpanan sebanyak sembilan perlawanan pada dua kempen berikutnya tetapi pernah bermain sebarang perlawanan.

Sampdoria

Pada Januari 2012, Mustafi berpindah ke kelab Serie B, U.C. Sampdoria secara percuma. Mustafi membuat debut untuk Sampdoria pada 26 Mei 2012 dengan bermain 90 minit semasa tewas 3-1 kepada Varese. Pada musim berikutnya, Sampdoria naik ke Serie A.

Mustafi membuat debut di Serie A pada 11 November 2012 ketika tewas 2-0 kepada Palermo. Pada 26 Oktober 2013, beliau menjaringkan gol profesional pertamanay semasa menentang Atalanta, Sampdoria menang 1-0.

Valencia

Pada 7 Ogos 2014, Mustafi menandatangani kontrak lima tahun bersama kelab La Liga, Valencia CF pada bayaran tertutup tetapi ada pihak mengatakan bayaran tersebut adalah 8 juta euro. Beliau membuat debut untuk Valencia pada 25 September menentang Córdoba, Valencia menang 3-0. Sebulan kemudian, beliau menjaringkan gol pertamanya untuk Valencia ketika menjaringkan gol pembukaan menentang Elche, Valencia menang 3-1. Pada perlawanan Valencia seterusnya pada 2 November menentang Villarreal, Mustafi menjaringkan gol untuk meletakkan Valencia ke dalam tempat kedua liga selepas menang 3-1 ke atas pasukan lawan.